הרצאה 8 - ניתוח רכיבים עיקריים (PCA)

הרציונל בשימוש:

דחיסת ממדים עם שגיאת שחזור קטנה ככל הניתן
לדוגמא: נקליט 100 אלקטרודות, ונראה שמספיק להשתמש ב17 כדי להסביר את הפעילות המוחית - המשמעות היא ששאר הנוירונים תלויים בפעילות אחד של השני

שלבי ניתוח הרכיבים:

נבנה מהנתונים שקיבלנו מטריצה (שורות = דוגמאות, עמודות = פרמטרים). נקרא לה X
נמרכז את המטריצה (נמצא את הממוצע של כל עמודה ונחסיר את כל איברי העמודה בממוצע של אותה עמודה). למטריצה ההמורכזת נקרא $\tilde{X}$
נבנה את מטריצת השונות המשותפת: $C = \frac{1}{n - 1} {\tilde{X}}^{T} \tilde{X}$
1. נשים לב שהאלכסון של מטריצה C הוא השוניות של כל דוגמא. סכימת השוניות (האלכסון = trace) תתן לנו את השונות הכללית
נלכסן את מטריצת השונות המשותפת:
1. נמצא את הערכים העצמיים: $d e t (λ I - C) = 0$
2. קיבלנו את מטריצת הערכים העצמיים. נשים לב כי השנויות על האלכסון שלה שווה לשונות הכללית של C, מכך שאם ניקח כל ערך עצמי ונחלק אותו בשונות הכללית, נוכל לדעת כמה אחוז מתוך השונות הכללית אותו ערך עצמי (במקור רכיב) מסביר.
3. נמצא את הוקטורים העצמיים: $d e t (C - I λ) \vec{v} = 0$ (עבור כל ערך עצמי)(לא נשכח לנרמל את הוקטור).
4. נצמיד את הוקטורים העצמיים כעמודות, נקבל את מטריצה U
5. אם נרצה לדחוס מימדים, נשאיר רק את מספר העמודות שתואם למספר המימדים שנרצה להשאיר
נקודד לפי: $Z = \tilde{X} U$
נשחזר לפי $\hat{X} = Z U^{T} + \bar{x}$ כאשר $\bar{x}$ היא מטריצת ממוצעי העמודות של המטריצה X

דוגמא לשאלה:
נתון סט דוגמאות אימון הכולל 4 דוגמאות -3 משתנים:
$$ \begin{pmatrix} 8 & 5 & 5 \ 4 & 9 & 3 \ 0 & -3 & 3 \ -4 & 1 & 5 \end{pmatrix}$$
א. חשבו את וקטור הממוצע ואת מטריצת השונות המשותפת:
$$ \begin{gathered}
\vec{X} = (\frac{8+4+0-4}{4}, \frac{5+9-3+1}{4}, \frac{5+3+3+5}{4}) = (2,3,4)
\
\
\hat{X} = \begin{pmatrix} 8-2 & 5-3 & 5-4 \ 4-2 & 9-3 & 3-4 \ 0-2 & -3-3 & 3-4 \ -4-2 & 1-3 & 5-3 \end{pmatrix} = \begin{pmatrix} 6 & 2 & 1 \ 2 & 6 & -1 \ -2 & -6 & -1 \ -6 & -2 & 2 \end{pmatrix}
\
\
C = \frac{1}{N-1}\hat{X}^T\hat{X} = \begin{bmatrix} \frac{80}{3} & 16 & 0 \ 16 & \frac{80}{3} & 0 \ 0 & 0 & \frac{4}{3} \end{bmatrix}
\end{gathered}
$$
ב. מצאו את הערכים העצמיים של C וסדרו אותם בסדר יורד

\begin{matrix} | \begin{matrix} \frac{80}{3} - λ & 16 & 0 \\ 16 & \frac{80}{3} - λ & 0 \\ 0 & 0 & \frac{4}{3} - λ \end{matrix} | = 0 \\ (\frac{4}{3} - λ) [(\frac{80}{3} - λ)^{2} - 16^{2}] = 0 \\ λ_{1} = \frac{128}{3}, λ_{2} = \frac{32}{3}, λ_{3} = \frac{4}{3} \end{matrix}

ג. אנו מעוניינים לשמור על לפחות 90% מהשונות המוסברת, כמה רכיבים עיקריים יש לקחת?

\begin{matrix} Total Variance (Trace) = λ_{1} + λ_{2} + λ_{3} = \frac{128}{3} + \frac{32}{3} + \frac{4}{3} = \frac{164}{3} \approx 54.67 \\ Retention with k = 1 : \frac{λ_{1}}{Trace} = \frac{128 / 3}{164 / 3} = \frac{128}{164} \approx 78 % (< 90 %) \\ Retention with k = 2 : \frac{λ_{1} + λ_{2}}{Trace} = \frac{128 + 32}{164} = \frac{160}{164} \approx 97.5 % (> 90 %) \\ ∴ We need k = 2 components to retain 90% of the data. \end{matrix}

ד. חשבו את מטריצת ההטלה U המכילה את הוקטורים העצמים המובילים (לפי מספר הרכיבים עליהם יש לשמור)

\begin{matrix} For λ_{1} = \frac{128}{3} : (C - λ_{1} I) v_{1} = 0 ⟹ (\begin{matrix} - 16 & 16 & 0 \\ 16 & - 16 & 0 \\ 0 & 0 & - 41 \frac{1}{3} \end{matrix}) (\begin{matrix} x_{1} \\ x_{2} \\ x_{3} \end{matrix}) = 0 \\ ⟹ x_{1} = x_{2}, x_{3} = 0 ⟹ {\hat{u}}_{1} = (\begin{matrix} 1 / \sqrt{2} \\ 1 / \sqrt{2} \\ 0 \end{matrix}) \\ For λ_{2} = \frac{32}{3} : (C - λ_{2} I) v_{2} = 0 ⟹ (\begin{matrix} 16 & 16 & 0 \\ 16 & 16 & 0 \\ 0 & 0 & - 9 \frac{1}{3} \end{matrix}) (\begin{matrix} x_{1} \\ x_{2} \\ x_{3} \end{matrix}) = 0 \\ ⟹ x_{1} = - x_{2}, x_{3} = 0 ⟹ {\hat{u}}_{2} = (\begin{matrix} - 1 / \sqrt{2} \\ 1 / \sqrt{2} \\ 0 \end{matrix}) \end{matrix}

ה. נתונה דוגמאת מבחן חדשה: ${\vec{X}}_{t e s t} = (5 6 5)$ חשבו את הקידוד, השחזור, ושגיאת השחזור עבור דוגמא זו

\begin{matrix} {\hat{x}}_{t e s t} = U \cdot z + \bar{x} = (\begin{matrix} 1 / \sqrt{2} & - 1 / \sqrt{2} \\ 1 / \sqrt{2} & 1 / \sqrt{2} \\ 0 & 0 \end{matrix}) (\begin{matrix} 3 \sqrt{2} \\ 0 \end{matrix}) + (\begin{matrix} 2 \\ 3 \\ 4 \end{matrix}) \\ {\hat{x}}_{t e s t} = (\begin{matrix} (1 / \sqrt{2} \cdot 3 \sqrt{2}) + (- 1 / \sqrt{2} \cdot 0) \\ (1 / \sqrt{2} \cdot 3 \sqrt{2}) + (1 / \sqrt{2} \cdot 0) \\ (0 \cdot 3 \sqrt{2}) + (0 \cdot 0) \end{matrix}) + (\begin{matrix} 2 \\ 3 \\ 4 \end{matrix}) = (\begin{matrix} 3 \\ 3 \\ 0 \end{matrix}) + (\begin{matrix} 2 \\ 3 \\ 4 \end{matrix}) = (\begin{matrix} 5 \\ 6 \\ 4 \end{matrix}) \\ ε = \frac{1}{2} ∥ x_{t e s t} - {\hat{x}}_{t e s t} ∥^{2} = \frac{1}{2} {‖ (\begin{matrix} 5 \\ 6 \\ 5 \end{matrix}) - (\begin{matrix} 5 \\ 6 \\ 4 \end{matrix}) ‖}^{2} \\ ε = \frac{1}{2} ∥ (0, 0, 1) ∥^{2} = \frac{1}{2} (0^{2} + 0^{2} + 1^{2}) = 0.5 \end{matrix}

יש טעות או חומר חסר?